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© Bildcodierverfahren und Einrichtung. 


© Fur die . Ubertragung von Bildinformation uber 
einen Kanal mit begrenzter Datenkapazitat sind ver- 
schiedene Verfahren zur Redundanz- und Irrelevanz- 
verminderung bekannt. So werden Bewegungsvekto- 
ren fur Teilbildbereiche ermittelt und codiert. Die 
Teilbildbereiche selbst werden ebenfalls einer Codie- 
rung unterzogen, z.B. einer adaptiven Cosinus- 
Transformationscodierung (ADCT). Es wird ein Ver- 
fahren sowie eine Einrichtung dazu angegeben, die 
eine konstante lokaie Rekonstruktionsqualitat der 
ubertragenen Bildinformation ermoglicht. Eine Ruck- 
wartssteuerung bei der Codierung ist nicht mehr 
notwendig. 

^ Das Obertragungssignal wird aus codierten Be- 
^wegungsvektoren gebildet und nur solcher codierter 

Teilbildbereiche, bei denen in Abhangigkeit eines 
JyjGutekriteriums (Restfehler) fur die bewegungskom- 
(Qpensierte Rekonstruktion die groflten Abweichungen 

auftreten. 
^ Bewegtbildtibertragung. 
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Blldcodierverfahren und Einrlchtung 


Die Erfindung betrifft ein ' Bildcodierverfahren 
gemafl dem Oberbegriff des Patentanspruchs 1 
sowie eine Bildcodiereinrichtung. 

Fur Bildinforrnationen, die uber einen Ubertra- 
gungskanal mit begrenzter Datenkapazitat ubertra- 
gen werden sollen, gibt es zahlreiche Verfahren zur 
Redundanz- und Irrelevanzverminderung. In 
Esprit'86 Results and Achievements, Commission 
of the European Communities, Directorate General 
XIII. 1987, North-Holland, Seiten 413 bis 422, wer- 
den einige solcher Verfahren vorgeschlagen. Beim 
DPCM (Differential Pulse Code Modulation)-Verfah- 
ren wird anstelle aktueller Abtastwerte die Differenz 
zwischen dem aktuellen Wert und einem Pradik- 
tionswert ubertragen. Die Datenkompression wird 
durch Quantisierung erreicht. Bei der adaptiven 
DPCM wird anhand eines Bewegungskriteriums die 
Pradiktion und der Quantisierungsgrad gesteuert. 
Beim ABTC (Adaptive Block Truncation Coding)- 
Verfahren wird die Codierung je nach Bewegungs- 
anteii von Bildbereichen in 3 Moden gesteuert. Das 
HPC (Hierarchical Predictive Coding)-Verfahren ba- 
siert auf der Kombination von Pradiktionscodierung 
und Interpolation. Bei der Transformationscodie- 
rung, z.B. der ADCT (Adaptive Cosine Transform)- 
Codierung werden die ortlichen Abtastwerte eines 
Bildblocks mittels einer mathematischen Vereinba- 
rung transformiert zur Gewinnung von entkorrelier- 
ten Koeffizienten. Die Datenkompression wird 
durch Abschneiden von Koeffizienten und nichtli- 
nearer Quantisierung erreicht. Bei der Vektorquanti- 
sierung wird das Bild in eine grofle Zahi kleiner 
Zellen unterteilt. z.B. 2x2 Oder 4x4 Bildelemente. 
Jede Zelle von k Bildelementen wird dann als 
Vektor im k dimensionalen Raum aufgefaflt. Eine 
Anzahl von reprasentativen Vektoren wird fur die 
Ubertragung ausgewahlt. Fur die Codierung wer- 
den die aktuellen Bildvektoren durch die reprasen- 
tativen Vektoren in ihrer Nachbarschaft beschrie- 
ben. 

Aus der DE-PS 37 04 777 ist es bekannt, die 
Bewegungsvektoren fur Teilbtldbereiche zu ermit- 
teln und diese zu codieren. Bei stark bewegten 
Bereichen werden bildpunktabhangige Informatio- 
nen fur diese Teilbildbereiche ubertragen. 

Aufgabe der Erfindung ist es, ausgehend vom 
Oberbegriff des Patentanspruchs 1 Oder 2, ein Bild- 
codierverfahren anzugeben, welches eine konstante 
lokale Rekonstruktionsqualitat ermoglicht. Aufier- 
dem soil eine Bildcodiereinrichtung angegeben 
werden. Diese Aufgabe wird bezuglich des Verfah- 
rens durch die Merkmale der Patentanspruche 1 
oder 2 und bezuglich der Einrichtung durch die 
Merkmale der Patentanspruche 7 oder 8 gelost: 
Die Patentanspruche 3 bis 6 zeigerr Weiterbildun- 


gen des Verfahrens auf. 

Die Erfindung ist fur alle Verfahren der Biidco- 
dierung geeignet, bei denen wegen einer geringen 
Ubertragungskapazitat, z.B. der Kanaldatenrate, nur 
5 ein Teil der gegenuber dem vorherigen Bild gean- 
derten Information ubertragen wird (Conditional- 
Replenishment-Verfahren). Das erfindungsgema/te 
Verfahren ist anwendbar fur alle blockorientierten 
Bildcodierverfahren, wie Transformationscodierung, 
w Pyramidentransformation (ASST'87, 6. Aachener 
Symposium fiir Signaltheorie, Informatik Fachbe- 
richte 153, September 1987, Seiten 203 bis 206) 
und Vektorcodierung. Sie kann ebenfalls bei der 
DCPM-Codierung eingesetzt werden, wenn z.B. 
75 mehrere aufeinander folgende Bildpunkte zu elnem 
Block zusammengefa/tt werden. Die Auswahl der 
zu ubertragenden Teilbildbereiche/Blocke anhand 
des Gutekriteriums und gegebenenfalls der Anpas- 
sung der Codier-Bitrate an die beschrankte Kapazi- 
20 tat des Ubertragungskanals ermoglicht eine kon- 
stante lokale Rekonstruktionsqualitat. 

Der Datenstrom des datenreduzierten Bildsi- 
gnals setzt sich im allgemeinen zusammen aus 
statistisch codierten Bilddaten. Synchroninformation 
25 und Steuerinformation, die eventuell auch stati- 
stisch codiert ist. Bei bisherigen Verfahren, z.B. DE 
37 04 777 C1, wurde ein Teil des zur Verfugung 
stehenden Kanals von Synchron- und Steuerinfor- 
mation belegt. Der Rest des Kanals wurde zur 
30 Ubertragung von Bilddaten genutzt. Mittels eines. 
Pufferspeichers wurden Datenspitzen abgefangen 
und ein gleichmafliger Datenstrom erzeugt Ubli- 
cherweise wird der Fullstand des Pufferspeichers 
zur Steuerung der Bilddatenrate herangezogen | 
35 CCIR Rec.-H120 |. Ein Pufferuberlauf wird durch 
Mai3nahmen wie z:B. eine grobere Quantisierung 
der Spektralwerte oder die Erhohung von Entschei- 
derschwellen fur das Conditional-Replenishment 
vermieden. Durch die Ruckwartssteuerung des Co- 
40 ders aus dem Pufferfullstand entstehen folgende 
Nachteile, die beim Verfahren nicht mehr auftreten: 

- Die lokale Rekonstruktionsqualitat des Bildes 
ist nicht stabil, da sie von der globalen Regelgrofle 
"Pufferfullstand" und nicht direkt vom Bildinhalt 

45 abhangig ist. Je nach Pufferfullstand konnen Teile 
des gleichen Bildes mit verschiedener Qualitat co- 
diert werden. 

- Die Regelung greift erst nach der Codierung. 
Deshaib kann z.B. die Entscheidung, bestimmte 

so Blocke zu ubertragen, nicht mehr ruckgangig ge- 
macht werden, wenn spater im Bild Blocke mit 
grofleren Bildfehlern auftreten. 

- Die Rekonstruktionsqualitat des pufferfull- 
standsgesteuerten Coders ist prinzipiell urn so sta- 
biler, je grofler der Pufferspeicher ist. Fur Anwen- 
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dungen niederbitratiger Codecs im Gegensprech- 
betrieb (Video-Telefon) ist jedoch eine mogiichst 
kleine laufzeit und damit ein mogiichst kleiner Puf- 
ferspeicher anzustreben. 

Mit dem Verfahren bzw. der Einrichtung gemafl 
der Erfindung laflt sich ein Bewegtbild-Codec mit 
64 kbit/s fur Videotelefon realisieren mit Stabilisie- 
rung der lokalen Rekonstruktionsqualitat des Bil- 
des. Die lokale Rekonstruktionsqualitat des Bildes 
ist deshalb stabiler als bei ublichen Systemen, weil 
die Auswahl der zu ubertragenden 
Teilbildbereiche/Blocke allein vom Restfehier ab- 
hangig ist und nicht von der zeitlichen Reihenfolge 
der Verarbeitung. Durch die verwendete Vorwarts- 
steuerung kann der Pufferspeicher des Codecs 
kleiner als bei der ublichen Ruckwartssteuerung 
dimensioniert werden. Dementsprechend sinkt die 
Grundverzogerung des Codecs. 

Bei der Verteilung der Datenrate wird das gan- 
ze Bild bzw. Differenzbild beurteilt. Die 
Pufferspeicher-Laufzeit laflt sich minimieren. 

Anhand der Zeichnungen werden nun zwei 
Ausfuhrungsbeispiele fur Codiereinrichtungen vor- 
gestellt, mit denen sich das Verfahren gemafl der 
Erfindung reaiisieren laflt. Es zeigen 

Fig. 1 ein Blockschaltbild einer Codierein- 
richtung, bei der Teilbildbereiche ubertragen wer- 
den und 

Fig. 2 ein Blockschaltbild einer Codierein- 
richtung, bei der Pradiktionsfehler ubertragen wer- 
den. 

Beim Ausfuhrungsbeispiel nach Fig. 1 wird 
eine PCM Bildsequenz, z.B. aus 2 Vollbildem, am 
Punkt 1 zugefuhrt. Diese Bildsequenz wird an ei- 
nen Bildspeicher PST weitergeleitet. Die abgespei- 
cherte Bildsequenz wird sowohl einem Bewegungs- 
schatzer (motion estimator) ME als auch uber ei- 
nen Addierer ADD einer Einrichtung zum Ermitteln 
von Restfehlern DFD-SUM und einer wahrneh- 
mungsadaptiven Transformationscodiereinrichtung 
DCT zugeleitet. Als Bewegungsschatzer kann eine 
bekannte Einrichtung verwendet werden. Beson- 
ders geeignet ist ein hierarchisch strukturierter Be- 
wegungsschatzer gemafl EP 236 519 AI.'Als 
Transfbrmationscodiereinrichtung kann die aus 
Esprit'86, Seiten 217 bis 218, s.o., bekannte Ein- 
richtung verwendet werden Oder auch Einrichtun- 
gen gemafl EP 13 069 A1, GB 21 41 847 A Oder 
Philips techn. Rev. 38, 1978/79, No. 4/5, Seiten 119 
bis 130. Die der DCT-Transformation unterzogene 
Bildsequenz wird in einem Speicher FST abgespei- 
chert sowie in der Einrichtung JDCT einer zur 
DCT-Transformation inversen Transformation unter- 
zogen. Uber einen weiteren Bildspeicher FIT wird 
die rucktransformierte Bildsequenz dem Bewe- 
gungsschatzer ME zur Verfugung gestellt. Der Be- 
wegungsschatzer ME liefert uber einen Interpolator 


MCFI (motion compensating frame interpolator) 
Bildpunkte x' aus dem bewegungskompensierten 
Teilbildbereich des vorangegangenen Bildes. Fur 
den Interpolator MCFI kann auf bekannte Realisie- 

5 rungen zuruckgegriffen werden, beispielsweise auf 
den aus EP 236 519 A1 bekannten "Motion Com- 
pensating Interpolation Filter". Dieser berechnet je- 
den Bildpunkt als Funktion aus den Bewegungs- 
vektoren, die der Bewegungsschatzer ME liefert, 

w und der zeitlichen Position der Bildpunkte. Ober 
einen Addierer ADD wird jeweils die Differenz zwi- 
schen aktuellen Bildpunkten X und Bildpunkten X 
gebildet. Mittels der Einrichtung DFD-SUM werden 
diese Differenzen nach folgender Beziehung: 

rs DFD = SUM |x-x'| 

a - Teilbildbereich/Btock 

zu einem Restfehier aufsummiert, welcher ein G0- 
tekriterium fur die bewegungskompensierte Rekon- 
struktion bezuglich der Teilbildbereiche darstellt. 

20 Diese Restfehier DFD werden nun in absteigender 
Fehlergrofle durch eine Einrichtung BSEL geordnet 
(Tabelle 1). Die Einrichtung BSEL steuert einen 
Multiplexer MUX derart, dafl nur solche im Spei- 
cher FST abgelegten DCT transformierten Teilbild- 

25 bereiche an einen Pufferspeicher BUF weitergelei- 
tet werden, die die groflten Restfehier aufweisen. 
Die Bewegungsvektoren, die mit dem Displacem- 
entschatzer ME ermittelt werden und in einem Vek- 
torspeicher BVS abgelegt sind, werden z.B. VWL 

30 (variable word length) codiert und ebenfalls dem 
Pufferspeicher BUF zugefuhrt. Synchron- und Steu- 
erinformation wird uber den Punkt 2 einer Aufberei- 
tungsstufe ZUS zugefuhrt. Zusammen mit der In- 
formation uber die geordneten Restfehier - BSEL - 

35 wird diese Zusatzinformation aufbereitet und co- 
diert und zum Pufferspeicher BUF geleitet. Sie 
enthalt beispielsweise die Blockadresse (letzte 2 
Spalten in Tabelle 1) und die DCT-Bitzahl, d.h. die 
fur die DCT-Codierung eines 

40 Teilbildbereichs/Blockes erforderliche Anzahl der 
Bits. Letztere Information wird von einem DCT- 
Blockbitzahl-Speicher BBZ geliefert, der an die 
Transformationscodiereinrichtung angeschlossen 
ist. Bei einer 64 kbit/s-Ubertragung stehen nach der 

45 Codierung von Synchron- und Steuerinformation 
sowie der Bewegungsvektoren fur die Ubertragung 
von DCT-BI6cken fur ein bestimmtes Bild (vgl. 
Tabelle 1) z.B. noch 4723 bit zur Verfugung. Die 
Bitsumme aller Blocke bis zum Block 122 betragt 

so einschliefllich der Blockadressierung 4709. bit. Es 
konnen daher die ersten 122 DCT-Blocke mit den 
groflten Restfehlern DFD ubertragen werden. 

Zum Ansteuern der Einrichtung BSEL ist ein 
Bitzahler BITC vorgesehen, dem wiederum die 

55 Vektorbitzahl vom Vektorspeicher BVS, die DCT- 
Blockbitzahl und der Fullstand FS des Pufferspei- 
chers BUF als Steuerkriterium zugefuhrt ist. Der 
Bitzahler BITC ermoglicht dadurch immer die ma- 


ximal mogliche Ausnutzung des Ubertragungska- 
nals. 

Anstelle der Ubertragung der codierten 
Teilbildbereichs-ZBIockinformation kann auch eine 
Ubertragung der codierten Pradiktionsfehier vorge- 
nommen werden. Eine Einrichtung hierzu zeigt Fig. 
2, wobei die den in Fig. 1 entsprechenden Bau- 
gruppen mit gestrichenen Bezugszeichen darge- 
stellt sind. 

In Abweichung zu Fig. 1 ist ein Addierer ADD 
zwischen den entsprechenden eingangsseitigen 
Bildspeicher und f die 

Transformationscodiereinrichtung DCT geschaltet. 
Dem Addierer ADD' ist am Minuendeneingang das 
Ausgangssignal cles der Fig. 1 entsprechenden In- 
terpolators MCFl' zupefuhrt. Die entsprechende 
Einrichtung DFD-SUM wertet das Ausgangssignal 
dieses Addierers ADD' aus. Ein weiterer Addierer 
ADDW ist zwischen die entsprechende Einrichtung 
zur inversen DCT-Transformation JDCT und Spei- 
cher FIT' geschaltet. An seinem Minuendeneingang 
wird diesenri weiteren Addierer ADDW das Aus- 
gangssignal des entsprechenden Interpolators 
MCFl' zugefuhrt. Durch diese Modifikation bezug- 
lich der Realisierung nach Fig. 1 wird dem Bewe- 
gungsschatzer ME nicht das rucktransformierte 
Bild zugefuhrt, sondern das rekonstruierte Bild, wo- 
bei zur Rekonstruktion das bewegungskompensier- 
te Pradiktionsbild (Ausgangssignal des Interpola- 
tors MCFl') und das nichttransformierte Fehlerbiid 
herangezogen wird. Dadurch wird nicht das PCM- 
Bild DCT-codiert f sondern der bewegungskompen- 
sierte Pradiktionsfehier. Dieser bewegungskompen- 
sierte. Pradiktionsfehier wird auch als Eingangssi- 
gnal der Einrichtung DFD-SUM' verwendet. 

Als Gutekriterium kann ansteile des Restfehlers 
(Bildverschiebungsdifferenz) DFD = SUM | x-x | 
auch der Ausdruck 
DFD' = SUM (x-x') 2 

verwendet werden oder ahnliche Beziehungen. Das 
Gutekriterium kann nicht nur zur Auswahl der zu 
ubertragenden Blocke herangezogen werden, son- 
dern auch zur Steuerung der Codierdatenrate, z.B. 
durch eine Veranderung der Quantisierung. 

Unter dem bisher verwendeten Begriff 
"Teilbildbereich" wurde ein matrixformiger Bereich 
- Block - verstanden. Anstelle von solchen matrix- 
formigen Bereichen kann auch eine andere Struk- 
tur, z.B. in Form von Elementen eines Musters 
gelegt werden. 


Anspruche 

1. Bildcodierverfahren fur die Ubertragung ei- 
ner Bildinformation uber einen Kanal mit begrenz- 
ter Datenkapazitat mit folgenden Schritten: 
a) Ermitteln von Bewegungsvektoren fur Teilbildbe- 


reiche und Codieren derselben, 

b) Codieren der Teilbildbereiche im Sinne einer 
Redundanz-und Irrelevanzverminderung, 

c) Aufbereiten eines Ubertragungssignals, gebildet 
5 aus den codierten Bewegungsvektoren, gegebe- 

nenfalls Steuer- und/oder Synchroninformation, und 
nur solcher codierter Teilbildbereiche, bei denen in 
Abhangigkeit eines Gutekriteriums fur die bewe- 
gungskompensierte Rekonstruktion die gro/5ten Ab- 
70 weichungen auftreten, unabhangig von ihrer zeitli- 
chen Reihenfolge, wobei die Schritte a) und b) den 
Oberbegriff und der Schritt c) das Kennzeichen 
bilden. 

2. Bildcodierverfahren fur die Ubertragung ei- 
T5 ner Bildinformation uber einen Kanal mit begrenz- 

ter Datenkapazitat mit folgenden Schritten: 

a) Ermitteln von Bewegungsvektoren fur Teilbildbe- 
reiche und Codieren derselben, 

b) Codieren der bewegungskompensierten Pradik- 
20 tionsfehler im Sinne einer Redundanz- und Irrele- 
vanzverminderung, 

c) Aufbereiten eines Obertragungssignals, gebildet 
aus den codierten Bewegungsvektoren, gegebe- 
nenfalls Steuer- und/oder Synchroninformation, und 

25 nur solcher c odierter Pradikt lojiSiiabJ^r, bei denen 
in Abhangigkeit eines Gutekriteriums fur die bewe- 
gungskompensierte Rekonstruktion die groflten Ab- 
weichungen auftreten, unabhangig von ihrer zeitli- 
chen Reihenfolge, wobei die Schritte a) und b) den 

30 Oberbegriff und der Schritt c) das Kennzeichen 
bilden. 

3. Verfahren nach Anspruch 1 oder 2, gekenn- 
zeichnet durch die Biidsequenzverschiebungsdiffe- 
renz (displaced frame difference - DFD) 

35 DFD = SUM |x - x'| 

als Gutekriterium, wobei mit SUM die Summe uber 
alle Teilbildbereichs-/Blockelemente, 
x der Bildpunkt aus einem PCM-Block des aktuel- 
len Bildes, 

40 x der entsprechende Bildpunkt aus dem bewe- 
gungskompensierten Teilbildbereich / Block des 
letzten Bildes bezeichnet ist. 

4. Verfahren nach Anspruch 1 oder 2, gekenn- 
zeichnet durch den Ausdruck 

45 DFD = SUM (x - x') 2 

als Gutekriterium, wobei mit SUM die Summe uber 
alle Teilbi!dbereichs-/Blockelemente, 
x der Bildpunkt aus einem PCM-Block des aktuel- 
len Bildes, 

so x' der entsprechende Bildpunkt aus dem bewe- 
gungskompensierten Teilbildbereich/Block des ietz- 
ten Bildes bezeichnet ist. 

5. Verfahren nach einem der Anspruche 1 bis 
4, gekennzeichnet durch Steuern der Codierdaten- 

55 rate in Abhangigkeit des Gutekriteriums. 

. 6. Bildcodierverfahren nach einem der Anspru- 
che 1, 3, 4 oder 5, gekennzeichnet durch 
- Ermitteln der Restfehler der mit den Bewegungs- 
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vektoren bewegungskompensierten 
Teilbildbereiche/Blocke, 

- Ordnen der Restfehler nach a.bsteigender Fehler- 
grofle, 

Auswahlen der zu ubertragenden 5 
Teilbildbereiche/Blocke in Abhangigkeit der grq/3- 
ten Restfehler. 

7. Bildcodiereinrichtung, insbesondere zum 
Durchfuhren des Verfahrens nach einem der An- 
spruche 1, 3, 4, 5 Oder 6, gekennzeichnet durch w 

- eine bewegungsadaptive Transformationscodier- 
einrichtung (DCT) fur Teilbildbereiche, 

- eine Einrichtung (ME, BSV) zum Ermittein von 
Bewegungsvektoren fur Teilbildbereiche, 

- eine Einrichtung zum Ermittein der Restfehler 75 
(ADD, DFD-SUM) der mit den Bewegungsvektoren 
bewegungskompensierten Teilbildbereiche/Blocke, 

- eine Einrichtung zum Auswahlen der codierten zu 
ubertragenden Teilbildbereiche/Blocke in Abhan- 
gigkeit der grofiten Restfehler (BSEL, MUX), 20 

- eine Einrichtung (BUF) zum Zusammenfugen der 
codierten Bewegungsvektoren, der ausgewahlten 
codierten Teilbildbereiche/Blocke und gegebenen-. 
falls Steuer- und/oder Synchroninformation zu ei- 
nem Obertragungssignal. . 25 

8. Bildcodiereinrichtung, insbesondere zum 
Durchfuhren des Verfahrens nach einem der An- 
spruche 2 f 3, 4, 5 Oder 6, gekennzeichnet durch 

- eine Transformationscodiereinrichtung (DCT ) fur 
bewegungskompensierte Pradiktionsfehler, 30 

- eine Einrichtung (ME', BSV ) zum Ermittein von 
Bewegungsvektoren fur Teilbildbereiche, 

- eine Einrichtung zum Ermittein der Restfehler 
(ADD', DFD-SUM) fur bewegungskompensierte 
Pradiktionsfehler, ' 35 

- eine Einrichtung zum Auswahlen der codierten zu 
ubertragenden bewegungskompensierten Pradik- 
tionsfehler in Abhangigkeit der grofiten Restfehler 
(BSEL, MUX), 

- eine Einrichtung (BUF ) zum Zusammenfugen der 40 
codierten Bewegungsvektoren, der ausgewahlten 
codierten bewegungskompensierten Pradiktionsfeh- 
ler und gegebenenfalls Steuer- und/oder Synchron- 
information zu einem Ubertragungssignal. 

45 
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Rangfolge DFD DCT-Bitzahl Blockadresse <x,y) 

1 2867 134... 17 29 

" 2 ' "2^15^ . 22,' 12 18 

3 19 22 -119 : 31 15 


JL22 259 12 JL9 13 

123 "241 19 27 34 


